1.1. MIR은 무엇인가

What Is MIR?

음악정보검색
Author

Cheonghyo Cho

Published

February 20, 2023

음악정보검색 (Music Information Retrieval, MIR)은 무엇인가?

  • 대체로 MIR(Music Information Retrieval) 연구 분야는 오디오 신호, 기호 표현 또는 웹 페이지와 같은 소스 등으로부터 음악의 의미 있는 특징을 추출하고 추론하며, 이러한 특징을 사용하여 음악을 인덱싱(indexing)하고, 정의한 다양한 검색 체계(예: 내용 기반 검색, 음악 추천 시스템 또는 대규모 음악 컬렉션을 탐색하기 위한 사용자 인터페이스 등)를 개발하는 데 목표를 둔다.

  • MIR 연구 분야는 30년도 되지 않은 짧은 역사를 가지고 있지만 최근 들어 많은 관심을 끌고 있는 분야이다. 그 이유는 1990년대말의 오디오 압축 기술이 발달하고 컴퓨터의 계산 능력이 크게 향상되었고, 따라서 음악 특징들을 추출할 수 있는 비용이 감소했기 때문이다. 또한 모바일로 음악을 자유롭게 감상할 수 있게 되며, 스포티파이(Spotify), 애플 뮤직(Apple Music), 그루브샤크(Grooveshark), 디저(Deezer) 등의 스트리밍 서비스들이 탄생하며 음악의 소비가 훨씬 자유로워진 점도 있다.

from IPython.display import Image
Image("../img/1.intro/music_perception.png", width=400)

  • 위 그림은 음악 검색을 네 가지 유형을 나눈다.
    • 음악 내용(music content)은 오디오 특징들(예: 음색, 리듬, 멜로디 등),
    • 음악 맥락(music context)은 오디오 외적인 요소들(음악가의 배경, 명성, 앨범 커버 등) 위주를 다루며,
    • 사용자 맥락(user context)은 청취자의 음악 외적 특징(예: 분위기, 활동, 심리적 요인 등),
    • 사용자 속성(user properties)은 청취자가 음악을 대하는 속성(예: 청취 인구, 음악 평론, 인기 등)을 위주로 다룬다.
  • 이 블로그에서는 주로 음악내용(music content) 기반의 정보 검색을 다루기로 한다.

MIR에는 다양한 응용 연구가 존재한다. 다음의 응용 방법을 살펴보자

  • 음악 분류 (Music Classification)
    • 장르 분류, 무드(mood) 분류, 아티스트 분류, 악기 식별, 음악 태깅(tagging) 등이 있다. 방대한 음악 데이터에 장르, 무드, 아티스트, 사용 악기, 인위적인 태그 등이 각각 레이블링(labeling)되어 있다면 이를 분석/학습하여 새로운 음악에 대해 장르, 분위기 등을 지정할 수 있다.
  • 음악 유사성 (Music Simliarity) / 추천(Recommendation)
    • 음악 간 유사성을 측정하는 연구로 커버 송 감지 혹은 음악 추천 시스템에 활용될 수 있다.
  • 허밍 기반 검색 (Query By Humming)
    • 사람이 흥얼거리는 소리를 쿼리(질의)로 하여 음악을 찾아내는 연구이다.
  • 음악 소스 분리 (Music Source Separation)
    • 오디오 신호로부터 보컬, 악기 등 한 오디오에 섞인 개별적 신호를 분리해내는 연구이다. 악기 인지, 노래방 버전 생성 등에 활용될 수 있으며, 작곡가, 편곡가 등에게 좋은 도구로 쓰일 수 있다.
  • 자동 음악 전사 (Automatic Music Transcription)
    • 오디오로부터 악보나 미디 등 기호적 표현으로 변환하는 연구이다. 피치(pitch) 감지, 온셋(onset) 감지, 악기 인지, 화성 정보 추출 등의 기술이 함께 연구된다.
  • 음악 생성 (Music Generation)
    • MIR을 통해 얻은 음악적 정보 등으로 음악을 생성하는 AI 모형 등을 생각해볼 수 있다.
from IPython.display import Image
Image("../img/1.intro/01introduction-1.JPG", width=300)

위 그림은 2014년에 변가람, 김무영. “Music Information Retrieval 기술 동향”에서 조사한 MIR 분야별 연구 동향이다.

참고 (References)

  • https://en.wikipedia.org/wiki/Music_information_retrieval

  • Byeon, Ga-Ram, and Mu-Yeong Kim. “Music Information Retrieval 기술 동향.” Broadcasting and Media Magazine 19.1 (2014): 31-36.

  • Knees, Peter, and Markus Schedl. Music similarity and retrieval: an introduction to audio-and web-based strategies. Vol. 9. Heidelberg: Springer, 2016.

  • Schedl, Markus, Emilia Gómez, and Julián Urbano. “Music information retrieval: Recent developments and applications.” Foundations and Trends® in Information Retrieval 8.2-3 (2014): 127-261.

2.1. 악보 표현 \(\rightarrow\)